Reflexões sobre o viés de publicação: um guia para praticantes de estatística para a análise de dados e uso inapropriado do coeficiente de correlação em ciências da saúde / Reflexions on publication bias: a guide for statisticians practitioners to data analysis and critical use of correlation coefficient in health sciences

A utilização de procedimentos estatísticos é de fundamental importância para a interpretação apropriada de um conjunto de dados. Desta forma, a baixa aderência do teste aos dados selecionados pode levar a conclusões inadequadas. Portanto, a escolha do teste paramétrico e não paramétrico para dados pareados deve levar em conta a normalidade dos dados. Com isso, aplicar o coeficiente de correlação de Pearson (teste paramétrico) em dados não paramétricos aumenta as chances de associações espúrias (por acaso ou erro sistemático), as quais resultam em erro do Tipo I. Entendendo que as vezes o pensamento do jovem pesquisador e também de editores de periódicos científicos serão guiados por resultados positivos. É comum a possibilidade de editores selecionarem artigos para publicação tendo como base o valor de p <0,05. Contudo, também seria importante selecionar os artigos levando em consideração os cumprimentos dos pressupostos para a utilização de testes paramétricos e não-paramétricos. Com isso, objetivo do presente estudo foi abordar os dois testes de coeficiente de correlação de Pearson e Spearman e sugerir recomendações para praticantes de estatística na área de Ciências da Saúde para a utilização segura e adequada dos dados antes da publicação.(AU)

The use of statistical procedures is of fundamental importance for the proper interpretation of data analysis. In this way, the low adherence of the test to the selected data can lead to inadequate conclusions. Therefore, the choice of parametric and non-parametric tests for paired data should take into account the normality of the data. Therefore, applying the Pearson correlation coefficient (non-parametric test) in non-parametric data increases the chances of spurious associations (by chance or systematic error), which result in a Type I error. Knowing that young researcher and editors of scientific journals might be guided by positive results. It is common for editors to select articles for publication based on p < 0.05 value. However, it would also be important to select papers taking into account the fulfillment of the assumptions for the use of parametric and non-parametric tests. Thus, the aim of the present study was to address the two Pearson and Spearman correlation coefficient tests and to suggest recommendations for practitioners of statistics in the area of Health Sciences for the safe and adequate use of data prior publication.(AU)

Teste de hipóteses: perguntas que você sempre quis fazer, mas nunca teve coragem / Hypothesis testing: questions you have always wanted to ask, but never had the courage to

Dando continuidade aos artigos da série "Perguntas que você sempre quis fazer, mas nunca teve coragem", que tem como objetivo responder e sugerir referências para o melhor entendimento das principais dúvidas dos pesquisadores do Hospital de Clínicas de Porto Alegre sobre estatística, este segundo artigo se propõe a responder às principais dúvidas levantadas sobre Teste de Hipóteses. São discutidas questões referentes à metodologia de um teste de hipóteses na concepção clássica de Inferência Estatística, bem como tamanho de efeito, tipos de erros, valor de p e poder. Os conceitos são abordados numa linguagem acessível ao público leigo e diversas referências são sugeridas para os curiosos em relação ao tema. (AU)

Continuing the series of articles "Questions you have always wanted to ask, but never had the courage to", which aims to answer the most common questions of researchers at Hospital de Clínicas de Porto Alegre regarding statistics and to suggest references for a better understanding, this second article addresses the topic of hypothesis testing. The hypothesis testing method is discussed from a classical conception of statistical inference, including effect size, type of errors, p-value and power. The concepts are explained in plain language for lay readers and several references are suggested for those curious about the topic. (AU)

What is the proper way to apply the multiple comparison test? / 대한마취과학회지

Multiple comparisons tests (MCTs) are performed several times on the mean of experimental conditions. When the null hypothesis is rejected in a validation, MCTs are performed when certain experimental conditions have a statistically significant mean difference or there is a specific aspect between the group means. A problem occurs if the error rate increases while multiple hypothesis tests are performed simultaneously. Consequently, in an MCT, it is necessary to control the error rate to an appropriate level. In this paper, we discuss how to test multiple hypotheses simultaneously while limiting type I error rate, which is caused by α inflation. To choose the appropriate test, we must maintain the balance between statistical power and type I error rate. If the test is too conservative, a type I error is not likely to occur. However, concurrently, the test may have insufficient power resulted in increased probability of type II error occurrence. Most researchers may hope to find the best way of adjusting the type I error rate to discriminate the real differences between observed data without wasting too much statistical power. It is expected that this paper will help researchers understand the differences between MCTs and apply them appropriately.

Likelihood ratio test between two groups of castor oil plant traits / Teste de razão de verossimilhança entre dois grupos de caracteres de mamoneira

ABSTRACT: The likelihood ratio test (LRT), to the independence between two sets of variables, allows to identify whether there is a dependency relationship between them. The aim of this study was to calculate the type I error and power of the LRT for determining independence between two sets of variables under multivariate normal distributions in scenarios consisting of combinations of 16 sample sizes; 40 combinations of the number of variables of the two groups; and nine degrees of correlation between the variables (for the power). The rate of type I error and power were calculate at 640 and 5,760 scenarios, respectively. A performance evaluation of the LRT was conducted by computer simulation by the Monte Carlo method, using 2,000 simulations in each scenario. When the number of variables was large (24), the TRV controlled the rate of type I errors and showed high power in sizes greater than 100 samples. For small sample sizes (25, 30 and 50), the test showed good performance because the number of variables did not exceed 12.

RESUMO: O teste de razão de verossimilhança para a independência entre dois grupos de variáveis permite-nos identificar se existe uma relação de dependência entre eles. O objetivo deste trabalho foi calcular o erro tipo I e o poder do teste de razão de verossimilhança para independência entre dois grupos de caracteres, com distribuição normal multivariada, em cenários constituídos pelas combinações de: 16 tamanhos de amostra; 40 combinações de número de caracteres dos dois grupos; e nove graus de correlação entre os caracteres (para o poder). A taxa de erro tipo I e o poder foram calculados em 640 e 5.760 cenários a taxa de erro tipo I e o poder, respectivamente. A avaliação do desempenho do teste de razão de verossimilhança foi realizada por meio de simulação computacional pelo método Monte Carlo, utilizando-se 2.000 simulações em cada um dos cenários. Quando o número de caracteres é grande (24), o teste de razão de verossimilhança controla a taxa de erro tipo I e apresenta poder elevado (próximo a 100%), em tamanhos de amostra superiores a 100. Para tamanhos amostrais pequenos (25, 30 e 50), o teste apresenta bom desempenho (erro tipo I esperado e poder elevado), desde que o número de caracteres não exceda a 12.

A study on the estimation of type I and type II error of national basic public health services supervision through random sampling / 预防医学

Objective Estimate type I and type II error probability (α,β)of sampling deduction,using sample size set in national basic public health services supervision.Methods Assuming a series of population indicator value of supervised area,αand βwas calculated based on binomial & hypergeometric distribution theory according to the sample size and indicator requirements set in supervision plan.Results When the population indicator value of supervised area was just equal to indicator requirements,probability of type I error was as follows,health record utilization rate(0.41 ),health record qualification rate(0.26),children systematic management rate(0.32),postpartum visit rate(0.32),the elderly health examination form completion rate (0.35 ),standard administration rate of patients with hypertension or diabetes (0.37),control rate of blood pressure of hypertension patients(0.34),control rate of blood glucose of diabetes patients (0.43),standard administration rate of severe mental illness patients(0.50).When the population indicator value of supervised area was 0.05 lower than indicator requirements,probability of type II error of those indicator was as follows, 0.41,0.54,0.53,0.53,0.51,0.50,0.57,0.47,0.38.Conclusion Current sample sizes of all indicators result in weak sensitivity of unqualified area detection.In order to avoid mistake,the sample size should be improved.

Small size sampling.

Though small size samples can be planned and justified based on scarcity of time, money and manpower, there are situations making more accuracy a must and needing larger samples sizes. That’s why rare adverse drug reactions are identified only after a drug comes into the market and a large population is exposed to it. There are many more reasons for increasing the sample size and requirement of the study decides which criteria of accuracy should be tightened the most (e.g. avoiding type I error is more important or type II error).

Normalidade de variáveis: métodos de verificação e comparação de alguns testes não-paramétricos por simulação / Normality of variables: diagnosis methods and comparison of some nonparametric tests by simulation

Introdução: os principais testes estatísticos têm como suposição a normalidade dos dados, que deve ser verificada antes da realização das análises principais. Objetivo: revisar as técnicas de verificação da normalidade dos dados e comparar alguns testes de aderência à normalidade para diferentes distribuições de origem e tamanho amostral. Metodologia: através da simulação de cinco distribuições (Normal, t-student, Qui-Quadrado, Gama e Exponencial) e seis tamanhos amostrais (10, 30, 50, 100, 500 e 1000) foram simulados 5000 amostras de cada par distribuição-tamanho amostral e realizados os testes Qui-quadrado, Kolmogorov-Smirnov, Lilliefors, Shapiro-Wilk, Shapiro-Francia, Cramer-von Mises, Anderson-Darling e Jarque-Bera. Resultados: os resultados obtidos mostram uma clara superioridade dos testes Shapiro-Francia e Shapiro-Wilk, com percentuais de acerto de 72,41% e 72,15%, respectivamente. Entre os piores resultados encontramos o Kolmogorov-Smirnov e Qui-Quadrado, com percentual de acerto de 44,78% e 61,58%, respectivamente. Conclusões: Para amostras pequenas recomenda-se que sejam utilizados procedimentos não paramétricos diretamente para a análise, em função da baixa performance dos testes de aderência à normalidade, dado o baixo percentual de acertos. Para amostras maiores, recomenda-se o uso dos testes Shapiro-Francia ou Shapiro-Wilk.

Introduction: The main statistical tests have the normality assumption that must be verified before performing the main analyzes. Objective: To review the techniques of testing for normality of data and compare some adherence tests for different true distributions and sample size. Methodology: Through simulation of five distributions (Normal, t-Student, Chi-Square, Gamma and Exponential) and six sample sizes (10, 30, 50, 100, 500 and 1000) were simulated 5000 samples of each pair sample size-distribution and applied the Chi-square, Kolmogorov-Smirnov, Lilliefors, Shapiro-Wilk, Shapiro-Francia, Cramer-von Mises, Anderson-Darling and Jarque-Bera tests. Results: The results show a clear superiority of the Shapiro-Francia and Shapiro-Wilk tests, with percentages of accuracy of 72.41% and 72.15% respectively. Among the worst results we find the Kolmogorov-Smirnov and Chi-Square, with percentage of accuracy of 44.78% and 61.58% respectively. Conclusions: For small samples it is recommended to use non-parametric procedures directly for the analyzes, due to the low performance of the tests of adherence to normality, given the low percentage of accuracy. For larger samples, we recommend the use of the Shapiro-Francia and Shapiro-Wilk tests.

Comparações múltiplas bayesianas em modelos normais homocedásticos e heterocedásticos / Bayesian multiple comparisons in homocedastic and heterocedastic normal models

Procedimentos de comparações múltiplas são utilizados para comparar médias de níveis de um fator, porém, os testes mais populares apresentam problemas de ambiguidade dos resultados e de controle do erro tipo I, além de terem seus desempenhos influenciados negativamente no caso de heterogeneidade de variâncias e não balanceamento. Objetivou-se, neste trabalho propor alternativas bayesianas para comparações múltiplas considerando os casos de homogeneidade e heterogeneidade de variâncias. A metodologia utilizada nesse trabalho foi baseada na distribuição a posteriori t multivariada. Foram geradas k cadeias de médias, utilizando o método de Monte Carlo. Foi obtida a amplitude padronizada sob H0, obtida na distribuição a posteriori das médias, contemplando a possibilidade de se analisar tanto o caso de variâncias heterogêneas como o caso de variâncias homogêneas. Os procedimentos de comparações múltiplas bayesianos foram propostos com sucesso.

Multiple comparison procedures are used to compare factor's levels means, since the most popular tests show problems related to ambiguous results and to the control of the type I error rates. Moreover, their performance is worst in heterocedastics and unbalanced cases. The objective of this work is to propose a Bayesian alternative for multiple comparisons considering the homocedastic and heterocedastic normal models. The methodology adopted in this paper was based on a posteriori multivariate t distribution. It was used k Monte Carlo chains of the mean factor to make inferences. The standardized range was obtained, under H0, from the posteriori distribution of the means, for the analysis of homocedastic and heterocedastic cases. The bayesian procedures of multiple comparisons were successfully proposed.

Comparison of Blinding Sample Size Adjustment with Unblinding One in Clinical Trials Through Simulations / 中国卫生统计

Objective To determine the appropriate methods to sample size adjustment for adaptive design through simulations by comparing sample size adjustment of blinding internal pilot design with that of unwinding one in clinical trials. Methods Compare type I error and the power of blinding and unblinding internal pilot design through Monte Carlo simulation. Results Either type I error rates or the powers are not substantially distinct in two lands of settings. Conclusion Blinding sample size adjustment is more preferable.

Diferencias entre el Nivel de Significancia alfa y el Valor P: [revisión] / Differences between alfa significance level and P value: [review]

Cuando los trabajadores de la salud o las personas con escasos conocimientos de bioestadística se involucran en investigaciones, especialmente de tipo cuantitativo, aplican técnicas estadísticas con las que pretenden analizar la información obtenida como resultado de un proceso de recolección de datos en cuya plantación no se hizo previsión del tipo de análisis que se podría necesitar para que los resultados fueran consecuentes con las hipótesis que desde un principio se ligan con todo proceso de indagación empírica, sistemática, controlada y reproducible -investigación- que busca resolver un problema especifico. Por ello, cuando se trata de interpretar los resultados de un estudio se pueden presentar errores respecto a la validez de los resultados obtenidos, especialmente cuando de manera empírica se quiere establecer el nivel de significación y, además, aclarar lo relacionado con el error que se produce cuando se acepta como válido un hallazgo que se origina por no haber formulado la hipótesis de trabajo (Error de tipo I).

Usually health professionals and people with little knowledge of statistics when involved with quantitative research they are faced to make statistical techniques to fulfill the data analysis resulting from a previous data collection. Generally they state hypothesis and later the information analysis can support the evidence in favor or against such hypothesis. In that point commonly they are faced to confusion when they try to interpret p value and type I error. The concept of p value and significance level will be approached in this paper and the difference among them will be cleared.

Robustness of asymptotic and bootstrap tests for multivariate homogeneity of covariance matrices / Robustez de testes assintóticos e de Bootstrap para homogeneidade de covariâncias em populações multivariadas

The present work emphasizes the importance of testing hypothesis on homogeneity of covariance matrices from multivariate k populations. The violation of the assumption of the homogeneity of covariance matrices affects the performance of the tests and the coverage probability of the confidence regions. This work intends to apply two tests of homogeneity of covariance and to evaluate type I error rates and power using Monte Carlo simulation in normal populations and robustness in non normal populations. Multivariate Bartlett's test (MBT) and its bootstrap version (MBTB) were used. Different configurations are tested combining sample sizes, number of variates, correlation and number of populations. Results show that the bootstrap test was considered superior to the asymptotic test and robust, since it controls the type error I rate.

O presente trabalho ressalta a importância da aplicação de testes sobre a hipótese de igualdade de matrizes de covariâncias de k populações. A violação da pressuposição da homogeneidade das covariâncias afeta diretamente a qualidade dos testes e a probabilidade de cobertura das regiões de confiança. Por essa razão, neste trabalho propõe-se aplicar dois testes de homogeneidade de covariâncias e avaliar as suas performances mediante uso de simulação Monte Carlo em populações normais e a robustez em situações não-normais avaliando-se o erro tipo I e o poder. Os testes utilizados foram: teste de Bartlett multivariado e a sua versão bootstrap. Foram feitas combinações entre os tamanhos amostrais, número de variáveis, correlação e número de populações. Os resultados obtidos permitiram concluir que o teste de bootstrap foi considerado superior aos assintótico e robusto, controlando o erro tipo I.

Desempenho de testes de normalidade multivariados avaliado por simulação Monte Carlo / Monte Carlo evaluation of the performance of multivariate normality tests

Neste trabalho, objetivou-se avaliar a performance do teste multivariado de normalidade de Shapiro-Wilk implementado no R comparando o seu desempenho com os testes de assimetria e curtose de Mardia (1970, 1974, 1975) utilizando simulação Monte Carlo. Foram mensuradas e comparadas as taxas de erro tipo I e poderes dos testes. Pode-se concluir que o teste de Shapiro-Wilk multivariado do programa R, função mshapiro.test do pacote mvnormtest, tem fraco desempenho (liberal) e não é recomendado para uso rotineiro.

This work aimed to evaluate the performance of the multivariate normality test of Shapiro-Wilk implemented in R in the library mvnormtest and to compare it with the asymmetry and kurtosis normality test proposed by Mardia (1970, 1974, 1975) using Monte Carlo simulation. The multivariate normality test of Shapiro-Wilk is not recommended for regular use.